Для удаления элемента из хранилища применяется функция DestroyElement():

HRESULT DestroyElement
(
	wchar *pwcsName	//имя удаляемого элемента
);

Результат S_OK говорит о том, что элемент удален удачно. Пример:

#include "stdafx.h"
#include "windows.h"
#include "ole2.h"
#include "iostream.h"

int main(int argc, char* argv[])
{
	OLECHAR filename[20];
	wcscpy(filename,L"test.stg");
	LPSTORAGE pIStorage=NULL;
	HRESULT rez;
	rez=StgOpenStorage(filename,NULL, STGM_READWRITE|
		STGM_SHARE_EXCLUSIVE ,NULL,0,&pIStorage);
	if (!FAILED(rez))
	{
		pIStorage->DestroyElement(L"MyFile");
		pIStorage->Release(); 
	}
	else cout << "Error open" << endl;
	return 0;
}

Смотрим DocFile View: